Agent Lightning v1.0: Towards Harnessed Agentic RL
Agent Lightning v1.0：面向 Harnessed Agentic RL
🧭 Agentic RL 训练框架与挑战 ★ 深度解读
Microsoft · Fudan University · Zhejiang University · University of Edinburgh
系统刻画 harnessed agentic RL 的 retokenization、advantage 与 loss 归一化挑战，用 3.5k 行框架验证 coding agent 提升 14.6%
📌 工作参考价值（4 点）
- 借鉴 proxy 解耦架构：电商导购/客服 Agent 线上 harness 可直接接 RL 训练 LLM 代理，无需改动 Agent 代码即可采集训练轨迹，显著降低 train-serve skew。
- 训练样本合并不要依赖文本前缀：必须基于 token 级精确前缀判断合并，否则会引入 off-policy 偏差；资源有限时采用 best-effort merging 最实用。
- Advantage 与 loss 应在 rollout 级别计算：当 Agent 内部存在子任务、上下文摘要或 retokenization 导致一个 rollout 产生多个训练样本时，按 sample 数归一化会引入梯度偏差，建议使用 rollout-level token-mean loss。
- 工程上可复用 collocated async RL 让推理与训练共享 GPU 池，比同步约快 2x 且省卡；同时用幂等 API + 重复 LLM 请求去重处理网络重试，适合大规模 rollout 场景。